УДК 004.89,004.93 


Ю.Б. Блохинов, А.С. Чернявский 

Федеральное государственное унитарное предприятие «Государственный 
научно-исследовательский институт авиационных систем» (ФГУП «ГосНИИАС»), 
г. Москва, Россия 

асвегп@озппаз.га 


Метод комплексирования данных 
разноракурсной съемки для обнаружения 
сложных объектов в условиях 

сильной зашумленности 


В статье рассматривается задача поиска объектов на аэрофотоснимках земных сцен, сделанных в различных 
спектральных диапазонах. Эталонные изображения искомых объектов представляют собой бинарные 
изображения контуров. Предлагается процедура сравнения эталона и текущего изображения, основанная на 
анализе полей градиентов яркости, и позволяющая использовать несколько изображений одной сцены для 
повышения уст ОЙЧИВОСТИ процедуры поиска к различным помехам. 


Введение 


Одним из перспективных направлений в совершенствовании систем навигации ле- 
тательных аппаратов является использование технологий машинного зрения. При работе 
в этом направлении необходимо учитывать априорную информацию о сцене (типы и 
размеры объектов, их взаимное расположение), формулировать ее эталонное описание в 
виде некоторой структуры данных или в виде эталонного изображения (ЭИ). Во время 
полета эталонное изображение сравнивается с текущим изображением (ТИ), получаемым 
при помощи бортовых датчиков (камер) с целью обнаружения искомых объектов и 
уточнения их координат. 

Целью данной работы является разработка методов решения задачи поиска на- 
земного объекта на ТИ по имеющемуся ЭИ. Предлагается функция сходства для сравне- 
ния эталонного изображения, заданного в виде контуров (ребер) с растровыми текущими 
изображениями, а также процедура, позволяющая использовать разноракурсные снимки 
одной сцены для увеличения устойчивости поиска к наличию различных помех. 


Постановка задачи поиска объекта 
по контурному эталону 


Эталонное описание сцены содержит бинарные реберные (скелетные) изображения 
объектов. Яркость объектов не входит в эталонное описание, поскольку при создании 
эталонного описания объекта (трехмерной модели) достоверная информация о яркости и 
текстуре, как правило, недоступна. Кроме того, форма и расположение граней объектов 
меньше всего варьируются при изменении условий съемки, в то время как яркостная 
составляющая ТИ может сильно меняться в зависимости от освещения, времени суток и 
времен года. Для каждого объекта, включенного в эталонное описание, область поиска на 
текущем изображении считается заданной. Текущее изображение представляет собой 
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аэрофотоснимок местности, полученный в видимом или инфракрасном диапазоне. 
Считается, что заранее заданный контурный эталон представляет собой ребра объекта, 
видимого под тем же углом, что и искомые объекты на ТИ. Задача поиска заключается в 
уточнении координат (локализации) искомого объекта. 


Функция сходства контурного эталона 
и текущего изображения 


На рис. 1 приводятся примеры текущих изображений, представляющих собой изобра- 
жения наземного сооружения и взлетно-посадочной полосы, сделанные в инфракрасном 
и видимом диапазонах, и соответствующих им контурных эталонов (КЭ). Для нахожде- 
ния наиболее вероятного положения объекта на текущем снимке вычисляется функция 
сходства контурного эталона и ТИ. Алгоритм нахождения функции сходства основан на 
поиске минимума разности направлений градиентов яркости на текущем изображении и 
эталоне. Поскольку направление градиента яркости является более инвариантной ха- 
рактеристикой, чем сама яркость, метод позволяет сравнивать изображения, полученные 
при разных условиях освещения, в разное время и в разных диапазонах [1]. В данной 
статье используется модификация алгоритма, в которой в качестве расстояния между 
эталоном и исходным изображением в каждом пикселе считается величина угла х между 
направлением градиента на исходном снимке и нормалью к контуру на контурном 
эталоне (рис. 2). 


= 7 |) 


Рисунок 1 — Примеры ТИ и КЭ 


Для вычисления функции сходства методом разности направлений к изображению 
контурного эталона применяется фильтр Гаусса. Это делается для того, чтобы, «размазав» 
эталон, снизить эффект малой площади эталона (предполагается, что изначально контуры 
КЭ имеют ширину один пиксель) и вычислять меру сходства эталона и фрагмента ТИ 
по большей части текущего изображения. Затем в каждой ненулевой точке сглаженного 
эталона находится направление градиента яркости: 


КЕ (1) = агс®(Е,/Е,), (1) 


где Е(1, /) — изображение контурного эталона. Та же процедура проводится и для 
ТИ, в результате чего получаем массив значений А, (1, /). Для того чтобы внутренние и 
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внешние нормали к контуру вносили одинаковый вклад в итоговую функцию сходства, 
к отрицательным величинам А,.(1,/) и А, (1,7) добавляется число л - в результате все 
направления градиентов и нормалей принадлежат интервалу [0,л). 


‚ \ 


Рисунок 2 — Подсчет угла между нормалью к контурному эталону и градиентом 
яркости текущего изображения 


т 


Для ускорения вычислений значения направлений квантуются; используется шесть 
равных ячеек, от [0,л/6) до [57л/6,л). Для нахождения функции сходства между 


эталоном и ТИ верхний левый угол двумерного массива А, (1, /), содержащего поле на- 
правлений градиента эталона, переносится в позицию (т‚и) в системе координат ТИ и 
накладывается на массив КУ (1, /) ‚ содержащий поле направлений градиентов ТИ. В каждой 
точке, принадлежащей контурному эталону, вычисляется величина 


1 если |п(Е,(ь))- ыщ(В,(ь < Т 


0, иначе, 


РОЛ = (2) 


где Ыш(К, (т, Л) — номер ячейки, в которой лежит направление градиента теку- 
щего изображения в точке (1,/), а Т — значение порога на разность ячеек. Итоговая 
функция сходства равна сумме функций сходства, посчитанных во всех пикселях 
эталона: 


Б(т,‚п) = Ур Л, (3) 


в[т,т+Не „тп, ] 


где Н, и И’. - высота и ширина эталонного изображения. В данной статье ис- 


пользуется значение порога Т = 2. При использовании метода направлений гра- 
диентов яркости функция сходства считается во всех точках, где сглаженное изобра- 
жение эталонного контура не равно нулю. Из рассмотрения исключаются лишь те 
точки, в которых амплитуда градиента мала, что соответствует однородным участкам 
изображения. Порог для формирования маски пикселей, входящих в выражение (3), 
зависит от диапазона яркости. 

Поскольку при подсчете выражения (3) пространственное расположение пикселей 
внутри эталона не учитывается, функция сходства может иметь ложные локальные 
максимумы. Эталон дает хороший отклик на тех участках ТИ, в которых присутствуют 


222 «Искусственный интеллект» 32011 


Метод комплексирования данных разноракурсной съемки для обнаружения... 4Б 


контуры схожего с эталоном направления. В частности, для дорог, длинных стен и крыш 
функция сходства имеет ряд протяженных линейно «гребней», где сосредоточены 
локальные максимумы. Для более точного нахождения положения объектов обычно 
используется априорная информация о взаимном расположении объектов, позволяющая 
отсечь ложные максимумы функции сходст-ва [2], [3]. Функция сходства контурных 
(бинарных) эталонов и растровых текущих изображений успешно была успешно при- 
менена в работах [2], [3]. В них было показано, что метод поиска объектов по контур- 
ному эталону с использованием функции сходства, основанной на сравнении полей 
градиентов яркости ТИ и нормалей к контурному эталону, проявляет устойчивость к 
нормально-распределенному шуму с 9 <25 (при динамическом диапазоне яркости 
от 0 до 255), к импульсному шуму «соль-перец» с р<0.7 и, в определенной 


степени, к загораживанию сцен облаками. В следующем разделе предлагается даль- 
нейшее усовершенствование процедуры поиска, основанное на использовании ин- 
формации с нескольких снимков одной трехмерной сцены, сделанных с разных ракурсов. 


Комплексирование данных разноракурсной съемки 


Во время подлета к цели возможна ситуация, при которой искомый объект не 
попадает целиком в поле зрения, а попадает лишь какой-то его фрагмент. В таком 
случае, особенно при наличии шума и при больших ошибках ориентирования (и, как 
следствие, при большом размере области поиска объекта) возможно появление ложных 
максимумов функции сходства, поскольку посторонние объекты на снимке могут 
давать больший отклик, чем фрагмент искомого объекта. В связи с этим была из- 
учена возможность улучшения локализации объектов путем использования нескольких 
снимков, сделанных последовательно в небольшом временном интервале с разных ракур- 
сов. Улучшение локализации объекта может быть достигнуто путем «склеивания» 
функций сходства искомого объекта по нескольким снимкам в одну функцию сход- 
ства. Опишем алгоритм улучшенной локализации по № снимкам одной сцены. 

В первую очередь, для каждого изображения необходимо найти функцию сход- 
ства всех объектов, для которых имеется эталонное описание (контурный эталон). 
Затем функция сходства, определенная в двумерной пиксельной системе координат, 
трактуется как голос, полученный в пользу гипотезы о том или ином расположении 
объекта в трехмерной геодезической системе координат. Пусть размер области поиска 
искомого объекта на изображении с номером 7 равен И’хН; пикселей. Каждая ко- 
ордината (х, у) двумерного прямоугольного массива размером И’хН, в котором хра- 
нится функция сходства, соответствует сдвигу некоторой точки объекта в трехмерной 
геодезической системе координат относительно ее истинного положения, которое, в 
свою очередь, может быть приближенно вычислено на основе информации об ориенти- 
ровании. В качестве характерной точки объекта можно выбрать как некоторую геоме- 
трическую особенность здания (угол крыши, вершину купола, середину окна), так и 
искусственно введенную точку, например, центр масс объекта. Если функция сход- 
ства в точке с пиксельными координатами (х, у) равна Хх, у), то можно говорить о 
том, что гипотеза о расположении центра масс объекта в точке с геодезическими 
координатами (хо, Уо, 20) получает голос, равный /. 

Выполнив описанные шаги для всех К изображений, по которым проводится 
сборка сцены, получим К массивов голосов, отданных за то или иное расположение 
центра объекта на местности, а не в пространстве каждого отдельного изображения. 
Таким образом, все функции сходства комплексируются, то есть становится возмож- 
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ным сравнить голоса, полученные за гипотезу о расположении центра масс путем 
анализа одного изображения, с голосами, полученными при анализе другого изобра- 
жения. Для тех точек трехмерного пространства, за которые голосует только один 
снимок, берется одно значение функции сходства. Если же за какую-либо область 
пространства голосуют несколько снимков, то проводится следующее сравнение: 
если 1-е изображение голосует за точку (хо, Уо, 20) или ее ближайшую окрестность 
величиной Ё, а /-е изображение голосует за точку (хо, о, 20) величиной Ё, причем Ё 
превосходит Ё (например, в силу того, что на /-м кадре искомый объект занимает 
80% площади снимка, а на 1-м всего 25%), то из двух функций сходства берется 
максимум. В завершение процедуры сборки сцены по нескольким изображениям 
находится точка в трехмерном пространстве, получившая максимальный голос. Считается, 
что центр масс объекта лежит в данной точке в геодезической системе координат. 
Применяя данные ориентирования, можно вычислить соответствующее положение 
контурного эталона объекта в пиксельных координатах всех снимков, использовав- 
шихся для сборки сцены. 


Рисунок 3— Фрагменты зашумленных ИК-снимков наземного сооружения 
И функция сходства контурного эталона объекта по каждому из снимков 
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На рис. 3 представлены исходные изображения — это снимки наземного сооружения, 
полученные в инфракрасном диапазоне. Снимки искусственно зашумлены нормально- 
распределенным шумом с о =20. На рис. 3 также показаны функции сходства для 
каждого из снимков в отдельности, отображенные в пиксельной системе координат 
(ПСК). Ширина и высота области поиска контурного эталона на изображениях равна 
101 пиксель (50 пикселей в каждую сторону от истинного положения объекта, извест- 
ного из данных целеуказания). На рис. 4 отображены области — уже в геодезиической 
(ГСК), а не пиксельной системе координат, — в пределах которых ведется поиск объекта 
по каждому снимку. Размер области поиска на местности составляет примерно 65 м по 
оси Охи 13 м по оси Оу. Из рис. 3 видно, что максимум функции сходства достигается 
примерно в одной и той же точке, однако наряду с максимумом присутствуют ложные 
локальные максимумы, вызванные наличием шума. Отметим, что на всех снимках зда- 
ния, использованных в данном эксперименте, присутствуют лишь некоторые небольшие 
части объекта, что также влияет на точность локализации объекта по отдельным снимкам. 
На рис. 5 отображена итоговая функция сходства, собранная путем «склейки» в ГСК 
функций сходства, полученных по каждому отдельному снимку (ин-терполяция значе- 
ний функций сходства при переходе из ПСК в ГСК выполнена по методу ближайших 
соседей). Из рис. 5 видно, что максимум итоговой функции сходства гораздо более 
выраженный, ложные локальные максимумы подавлены. На рис. 6 отображен контур- 
ный эталон наземного сооружения, наложенный на исходные изображения в координатах, 
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Рисунок 4 — Области поиска на местности (в ГСК), соответствующие областям 
поиска контурного эталона по снимкам 


Рисунок 5 — Итоговая функция сходства контурного эталона наземного сооружения, 
найденная по трем последовательным ИК-снимкам 
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Рисунок 6 — Контурный эталон наземного сооружения, наложенный на ТИ, 
в положении, найденном путем анализа трех последовательных ИК-снимков 


На рис. 7 показаны три последовательных снимка ВПП, сделанные в видимом 
диапазоне, а также функции сходства контурного эталона ВПП и текущих изображений. 
Взлетно-посадочная полоса представляет собой протяженный объект, который ни на 
одном снимке не попадает полностью в кадр. На каждом отдельном кадре в основном 
представлено две полосы, границы которых образуют параллельные прямые. Из рис. 7 
видно, что функция сходства, построенная по каждому ТИ в отдельности, имеет вид вы- 
тянутых гребней, совпадающих по направлению с полосой, и четкого пика функция 
сходства не имеет. На рис. 8 показана функция сходства, собранная по трем снимкам 
ВГШ, в геодезической системе координат. Пик агрегированной функции сходства, по- 
строенной по результатам анализа трех снимков, гораздо более отчетлив. 


Рисунок 7 — Фотоснимки объекта «ВПП» и функция сходства контурного 
эталона объекта по каждому из снимков 
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Рисунок 8 — Итоговая функция сходства контурного эталона объекта «ВПП», 
найденная по трем последовательным кадрам 


Выводы 


Предложенный алгоритм позволяет проводить быстрый поиск объектов по контур- 
ному эталону. Алгоритм устойчив к разным видам шума и был успешно применен к 
изображениям, полученным в ИК и видимом диапазонах. Применение нескольких 
снимков для построения одной функции сходства (комплексирование) позволяет снизить 
влияние шума, а также позволяет работать со снимками, на которых большая часть 
искомых объектов выходит за пределы кадра. 
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У.В. ВоЕйтот, А.5. Сйегпуау5Юу 

'Тве Мео4 о? аа Еизюоп ш Мш@-апзе ЗВоЕ ог Раесйоп оЁ Сотр!ех ОБ] ес шт Фе Ргезепсе оЁ 
5опо Мое 

ТБе заБ]есф оЁ Фе рарег 1$ е зеагсб оЁ об]есё$ ш аема| рБоюзтарВ$ та4е ш уатом$ зресёга| гапеез. 
Тегр/а{е$ оЁ оБ]есё5 1ю Бе зоиз БЕ аге гергезеие4 аз Бшагу ппазез сопаштшя фе сопючгз оЁ оБ]есё5. А 
ргоседиге ог сотрагше Фе {етр|\е ап4 а теегепсе ппазе 15 ргорозе4. И 15 Базе оп фе апа[уз1$ оЁ 
эта еп оЁ Фе ппазе Био тез5. ТЬ5 ргоседиге аПо\уз изше зеуега| ипазез оЁ Фе зате зсепе ш ог4ег © 
епрапсе Фе гоба$пе$$ оЁ Фе зеагсВ ИВ гезрес{ ю уанои$ Кт4$ оЁпо15е. 
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